查看原文
其他

使用OpenAI API的最后一条路断了,我连夜组合出了新的平价方案

AI沃茨 卡尔的AI沃茨
2024-11-06

(「・ω・)「文末彩蛋加载中 0%->50%->99%

 通往 OpenAI API 的大门再一次被 Close 上了 

四个月前,OpenAI 宣布停止向国内提供 API 服务。

四个月后的今天,微软还补上一脚,

没有任何预告,直接群发邮件:“在10月21日停止向个人用户提供 OpenAI API 服务。

官方直营店们都跑了,

现在,只能靠我们自己了。

至此,正式进入 API 大自由时代~


选项有很多,主要分三个流派:中转、平替、本地

单是中转,光我看到的方案就有十几种,

一排排看下来头都大了两圈,

所以现在,我来分享一下自己的组合思路,

希望能帮大家排雷,搭建起一套性价比高、维护成本低的 API 套餐。


 一、中转 

首先说说中转

中转就相当于给官方 API 包了一层壳,使用的时候换个域名就可以使用原生 GPT:

OpenAI域名:https://api.openai.com/v1/models
中转域名:https://openrouter.ai/api/v1/chat/completions
openrouter.ai

但不是所有中转供应商都会给你真的GPT。。。

那么我们就需要,在正式投入使用前将 API 参数设置为

Temperature=0,top_k=1,

然后让大模型重复 “entsprechend” 这个词20次。

如果官方模型和这个中转 API 输出内容完全一致的话,基本能排除“假“模型。

左边是中转API,右边是官方API接入chatbox

因为输出了20次 entsprechend,API已经开始计费了,

这时候,我会使用官方的计算工具得到输出的 token 总数,一个token大约等于4个英文字符或1到2个汉字。

token 才是价格的计算单位。

用手动计算出来的价格,跟中转 API 费用做一个 double check,就可以保证不被乱扣费。

ok,到这里,我们就已经迈出了第一步,

能够保证之后用上原生 GPT 了。

接下来,就是没有人不会关心的,成本!

我们可以从三个方面来压缩成本,

首先,大部分中转网站的费用是比官方要低的,我常用的约是官方原价的20%。

接下来,就是考虑 GPT 平替,

按照使用习惯,我划分出了基础对话、翻译、代码开发这三个高频使用场景。


二、平替:基础对话

我跟大模型的日常对话集中于写作、搜索、概念解释等几类应用场景,

说实话这类任务的难度真的不高,感觉用付费的GPT 4o-mini 来解决有点浪费。

所以有时我会选择使用 Gemini Flash1.5,虽然官方文档上标注了一些使用额度上的限制,

但是我猛猛用了几个月,给谷歌都“刮痧”了,愣是一分钱没花,而且还体验到了96%的4o性能。


三、平替:翻译

要论使用次数的话,

每天大规模浏览各种信息源的时候,网页翻译调用的API额度算得上我账单的前3。

这么高的使用频率,我直接选择免费,省下一大笔,

那就是用 Llama 3.1 405B

这上面一个大大的Free,我想花钱都难。

当然,如果还想给模型提提速,提升实时翻译的体验的话,

还可以花点小钱的,直接换成 Groq 版本的高速 Llama 3.1就OK。


四、平替:代码

上 deepseek!直接上 deepseek!就得上deepseek!

重要的事情说三遍!!!

这是我这两个月高强度使用 Cursor 得到的黄金组合,

局部代码修改用 deepseek,全局代码修改上 Claude Sonnet 3.5,强强搭配干活不累。

从费用上看,deepseek V2.5 比 Claude 3.5 sonnet 便宜 21 倍,比 GPT 4o 便宜 17 倍。

从性能上看,deepseek V2.5 与 GPT 4o 接近,但跟 sonnet 3.5 比还差点意思,Claude 依旧值得单独付费。

使用一个月下来,Sonnet 3.5的费用直接降低了1/2以上,且没有影响我的使用体验。

从能一下子省1/2的程度上看,我是真养成了啥废话都跟AI讲的习惯了。


五、本地

最后一步就是本地了,

使用本地开源模型的好处就是直接超脱了付费的世俗~~

API 的上限就是你的电脑的极限,随时随地用,根本不需要担心费用。

难点就是安装费劲,不符合维护成本低这个要求。

对比下来,Huggingchat是我近期遇到的工具里的一个较佳选择,

它把安装过程后台化了,支持免费使用 Qwen 2.5 72B、Command R+、Meta-Llama-3.1-70B-Instruct

同时也满足了我一点收集癖,厉害的模型都能用上了!


到这一步,我们就打造好了专属的 API 组合:

与之前将所有问题一股脑输入到 GPT 相比,

新组合里我只增加了一个步骤,就是利用“人工”智能的优势,人工判断当前我想问的问题难度是多少,

根据难度高低和使用途径,随心搭配低价甚至是免费API,GPT也没被拉下。

不仅不受到微软这次禁止Openai Api使用的影响,费用还降低了不少。

一个字,爽!!


写在最后

现在可能有人会问,为什么我要选择【保持使用 API 】而不是【直接访问网页版】呢?

其实换个角度来看,网页版不也是访问套了一层 UI 壳的 API吗?

选择使用 API,我不仅可以将大模型集成到日常工作流中,还可以调整参数来控制大模型的创造力和细节程度。

最重要的是,

在过去的两年里,大模型API的价格平均下降了约10倍,这让更广泛的 AI 原生应用成为可能。

像我这样的个人开发者都可以用 GPT-4o 做一个纯 AI 驱动的工具站,类似的视频、图像的AI工具更是可以每个月一换。

打个比方,

API 就是一个“作弊码”,

在地球OL这款游戏里,

新冒头的AI应用们都会留一个放置API的“后台”,

期待你路过,装备上它们,然后开启无限通关模式。

@ 作者 / 卡尔@ 动手学AI知识库 / learnprompt.pro


最后,感谢你看到这里👏如果喜欢这篇文章,不妨顺手给我们点赞👍|在看👀|转发📪更多的内容正在不断填坑中……

继续滑动看下一个
卡尔的AI沃茨
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存